人民拿起武器，开展武装斗争，是中国革命的主要形式也是革命的必由之路。舒城各地党组织建立以后，一面大力发展农协会组织，发动和组织群众为自身利益而斗争，一面组织赤卫队、游击队，武装群众，开展武装斗争。

舒城各地的武装组织诞生于1930年。开始的组织名称也不统一，主要有赤卫队、游击队、青年先锋队等。所拥有的武器大多为大刀、长矛，土枪为数不多。当时的赤卫队人们又称“摸瓜队”，因赤卫队员用大刀偷袭敌军、反动地主豪绅而得名。早期成立的各地武装组织有：晓天游击队(开始为赤卫队)，有队员20余名，不久发展到80余名，队长储德纯。这支游击队始终以深山密林为天然屏障，神出鬼没，机动灵活打击和牵制敌人，一直坚持斗争到全国解放。深寨冲游击队(开始为赤卫队)，有队员9名，第二年发展到16名，队长胡志满。稻场岗游击队，有队员60余名，队长汪德友;稻场岗青年先锋队，有队员10名，队长赵贤必。舒茶傅冲陈道忠、张开云领导的游击队，有30余人，春秋山游击队(开始为赤卫队)，队员10余名，队长张振祥。保民乡赤卫队，队长张道友，队员最多时达百名。东西港冲赤卫队，有队员14名，土枪6支，队长王谋成，副队长涂习贵。三拐井赤卫队，队长潘泽安，队员最多时达300人。板山赤卫队，有队员200余人，负责人卢养民、涂子真等。张母桥赤卫队，队长李华玉。随着农民武装的不断发展壮大，舒城县赤卫队于1931年春在板山成立，队员100余人，负责人梁建堂、张道友。

这些农民武装，主要开展打土豪、掩护群众扒粮，为主力红军筹粮、筹款、筹物，组织暴动，参军参战等活动。

1930年至1931年间，王谋成带领东西港游击队，先后杀联保主任华翠斋、劣绅徐玉道等8人，打吴方明、佘发理、韦怀青、韦孝康、韦光星、杨四郎等10余户地主豪绅百余次，缴获长短枪80余支，土枪、刀矛200余件，子弹39挑子，银元4万余元，并开仓放粮10余次，共1200余担。

此间，春秋山赤卫队处决李老庄李姓地主。梁建堂率领县赤卫队，攻打张母桥高家庵土豪程欲之、朱养清，烧毁寨碉，缴获步枪2支。张道友带领赤卫队处决土豪张焕庭。郑才率赤卫队活动于九井、干镇、新街、汤池、张母桥、县城一带。

当时的群众称这些农民武装为“光蛋队”(穷人组织起来的)、“执法队＂(惩办剥削阶级)、“摸瓜队”(镇压反动派)、“宣传队”(动员群众参加革命)、“听话队”(刺探敌情)、“打狗队”(夜间行动打狗扫清障碍)等。

组织或参加暴动，是农民武装的一项重要工作。1930年6月，陈道忠、张开云领导的农民游击队与桐城县陈雪吾领导的农民武装在舒桐交界的欧家岭，竖起造反大旗，创建根据地。六安新二区、新三区在中心县委直接领导下，决定于1932年3月发动北起张母桥鹭鸶庙，东到蔡家店、余家城，南到狗食岗，纵横数十里的农民大暴动。在党组织的领导下，舒城各地农民武装打造刀矛，磨刀擦枪，制做袖章，绣制红旗，呈现一派热火朝天的景象。张母桥街上各商铺的红布一售而空，全部被赤卫队、游击队买去做红袖章和红旗去了。后来由于敌军强大等原因，暴动未能如期举行。但稍后于5月6日举行了舒六县交界，位于六安县境内的冇 [mǎo]牛岗暴动。中共舒城特支负责人在张母桥、鹭鸶庙、余家岗、狗食岗一带，组织150余人的赤卫队、游击队员，在李华玉大队长的率领下，高举红旗，扛着长矛、土枪，拿着大刀，浩浩荡荡跨过丰乐河，参加暴动。很多群众也跟随队伍过河扒粮。

农民武装还为红军筹粮、筹款，支援红军。1930年春，晓天游击队奉上级党的指示，储德纯带领游击队，为在晓天一带活动的红军筹集经费(当时称打经济)。4月，打平田土豪、大树商吴梅奎经济，获银元2000元；5月，打下五显罗汉寺的中梅河联防局主任蒋少璜经济，获银元4000余元。1931年春，张母桥赤卫队打当地豪绅高凤池、汪赞庭、童福昌等5户经济，获银元2000余元，送给在当地活动的红军。秋，为给六安红军筹款，稻场岗赤卫队在梁建堂率领下，打大马厂徐成贤油坊，获银元200余元。此间，河棚地区党组织和赤卫队带领群众扒粮20余担，打经济2000余元，交给在该地活动的红军。这些打经济活动，为红军提供了活动经费，有力地帮助了红军部队的发展壮大，加快了革命进程。同时，各地赤卫队、游击队也在斗争中得到锻炼和发展。

游击队还为红军当向导，配合红军战斗。1932年10月，鄂豫皖革命根据地军民反国民党军队对苏区的第四次“围剿”斗争失利，红四方面军主力撤离根据地向西转移，留在皖西根据地继续牵制和阻击国民党军队的红军组成红二十七军，为避开敌人锋芒，寻机打击薄弱之敌，在军长刘士奇、政委郭述申以及七十九师师长徐海东等人领导下，掩护苏区2万余名地方干部、群众和伤病员，从苏区向外地转移。10月下旬，红二十七军从舒霍交界的头陀河转战进入晓天地区，国民党第二十五路军三十二师紧追不舍。储德纯率晓天游击队与红军取得联系后，迅速集中队伍，埋伏在驼岭侧翼的鸡笼尖，准备利用有利地形阻击敌军，掩护红军转移。与此同时，敌潜山县官庄团防局得知红军向驼岭方向开来的消息后，认为驼岭关是红军必经之路，于是在驼岭关设埋伏袭击红军。红军进入石关后，在当地党组织带领下，绕道苏家冲，直抵官庄，敌三十二师却直奔驼岭。当敌军进抵驼岭时，潜山县官庄团防局部误认为是红军，便以猛烈火力袭击。双方展开激战。枪炮声，喊叫声，交织在一起，为沉寂的山林添上一道热闹非凡的风景，埋伏在鸡笼尖的储德纯游击队隔山观虎斗。敌双方交战一个多小时后，储德纯游击队又在鸡笼尖侧翼猛烈袭击敌三十二师，红军的一支阻击部队也在敌后袭击该敌。敌遭受三面袭击，在山沟里左冲右突，无奈被高山阻隔，火力难以展开，死伤惨重。当红军主力到达官庄，脱离险境后，红军阻击部队和储德纯的游击队迅速撤离战斗。而这时敌双方才发现陷入圈套，叫苦不迭，恼恨不已。